Het kasteel van Ponthoz, uit de 17de eeuw, werd wellicht gebouwd op een oudere kern. Het landgoed Ponthoz kwam begin achttiende eeuw in handen van de familie Vander Straeten.
De in 1816 geboren Francois-Marie Vander Straeten-Ponthoz vervult een voorname rol in de meer recente geschiedenis van het landgoed Ponthoz. Hij was senator en gevolmachtigd minister van koning Leopold II in Argentinië. Hij liet het kasteel in de periode 1852-1859 met twee zijvleugels uitbreiden en liet er omstreeks 1880 de voordeur flankeren met twee traptorentjes.
De kasteelkapel werd gebouwd ter vervanging van een 13de eeuwse gebedplaats en bezit een uitzonderlijke collectie 15de eeuwse schilderijen op de gewelven. De middeleeuwse muurschilderingen werden door toprestaurateur, Jules Helbig, tot de best bewaarde van hun genre gerekend. Het uitgestrekte park, met een prachtige dreef van meer dan 500 lang en begroeid met eeuwenoude bomen, kwam tot stand in de periode 1860-1867 met een van de meest gerenommeerde parkarchitecten van de tweede helft van de 19de eeuw in België, Edouard Keilig als ontwerper.